“多模态信息融合”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3135035个，建议您升级VIP下载更多相关专利

[发明专利]一种基于多模态数据的情感分析方法-CN202211537877.5在审
发明人：刘志中;黄光玉;孟令强;孙宇航;初佃辉 -专利权人：烟台大学
申请日： 2022-12-01 - 公布日： 2023-03-28 - 主分类号： G06F16/33 文献下载
摘要：一种基于多模态数据的情感分析方法，包括以下操作：将至少三种单模态数据进行单模态深度上下文特征提取处理，生成至少三种单模态深度上下文特征信息；将所述至少三种单模态深度上下文特征信息进行跨模态融合处理，生成至少六种跨模态特征信息；将所述至少六种跨模态特征信息进行双模态注意力机制融合处理，生成至少三种一级多模态特征信息；将所述至少三种一级多模态特征信息进行拼接融合处理，生成二级多模态融合特征信息和三级多模态融合特征信息；将所述二级多模态融合特征信息和三级多模态融合特征信息进行决策级融合处理，生成多模态情感分类结果。该方法能够兼顾模态信息之间的连贯性和交互性，获得的结果具有较高的准确度。
一种基于多模态数据情感分析方法

[发明专利]一种跨语言多模态信息融合方法及装置-CN202310743839.3在审
发明人：周水庚;何轶凡 -专利权人：复旦大学
申请日： 2023-06-24 - 公布日： 2023-09-15 - 主分类号： G06F18/25 文献下载
摘要：本发属于数据挖掘技术领域，具体为一种跨语言多模态信息融合方法及装置。本发明跨语言多模态信息融合方法包括：收集跨语言多模态信息数据；建立多语种文本模态数据特征表示模块、建立图像模态数据特征表示模块；构建多模态特征融合模块将单一模态的数据表征通过自监督任务完成融合；结合多模态融合特征与数据标签实现整体模型的优化训练，并对跨语言多模态信息融合进行了下游分类任务验证。本发明还提供多模态信息融合装置，并应用与跨语言多模态信息分类任务中。本发明能够增强多模态数据的表征与融合能力，提升下游任务的准确性。
一种语言多模态信息融合方法装置

[发明专利]一种基于多模态信息的食道功能性疾病诊断系统-CN201811014891.0有效
发明人：黄智勇;孙大明 -专利权人：重庆高铂瑞骐科技开发有限公司
申请日： 2018-08-31 - 公布日： 2021-02-02 - 主分类号： A61B5/00 文献下载
摘要：本发明公开了一种基于多模态信息的食道功能性疾病诊断系统，包括多模态信息采集系统、配置有多模态信息预处理系统、多模态信息融合程序以及条件概率表的计算机；所述多模态信息采集系统用于采集多种单模态信息；所述多模态信息预处理系统内对应多模态信息采集系统采集到的每种单模态信息均设有单模态信息预处理单元；所述多模态信息融合程序用于根据单模态信息与条件概率表通过贝叶斯推理模型计算多模态信息融合概率，并根据多模态信息融合概率进行食道功能性疾病的判断。本发明解决现有技术中根据单模态特征来诊断食道功能性疾病的诊断准确率不高的技术问题，能够实现多模态信息融合来进行食道功能性疾病的诊断，能够提高诊断准确率。
一种基于多模态信息食道功能性疾病诊断系统

[发明专利]一种基于多模态特征融合网络的说话人识别方法和装置-CN202211491204.0在审
发明人：黄敏;朱世强;张春龙;宛敏红;李特;王文;寄珊珊;林哲远 -专利权人：之江实验室
申请日： 2022-11-25 - 公布日： 2023-03-17 - 主分类号： G06V40/16 文献下载
摘要：一种基于多模态特征融合的说话人识别方法，包括：获取包含图像序列等多模态序列信息；获取人脸图像序列信息；获取人脸图像序列对应的其他模态信息序列；建立多模态特征融合网络，将所述人脸多模态序列信息作为训练集，训练所述多模态特征融合网络；将待识别人脸多模态序列信息输入所述多模态特征融合网络，得到当前人说话状态。本发明还包括一种基于多模态特征融合的说话人识别装置。本发明能够融合不同模态的特征，丰富所提取特征的信息量，提升说话人识别准确度。
一种基于多模态特征融合网络说话识别方法装置

[发明专利]一种认知障碍检测模型及其训练方法-CN202110274276.9有效
发明人：陈益强;张宇欣;谷洋;高晨龙 -专利权人：中国科学院计算技术研究所
申请日： 2021-03-15 - 公布日： 2022-08-30 - 主分类号： A61B5/00 文献下载
摘要：本发明提供一种认知障碍检测模型及其训练方法，所述认知障碍检测模型包括多模态信息表征模块、多模态信息融合模块、无监督深度聚类模块。所述多模态信息表征模块包括眼底图像数据表征网络、多模态生理信号数据表征网络。所述多模态信息融合模块与所述多模态信息表征模块相连接，用于将所述眼底图像数据的特征与多模态生理信号的特征进行融合，得到融合后的特征；所述无监督深度聚类模块与所述多模态信息融合模块相连接，用于根据所述融合后的特征基于无监督聚类模型进行认知障碍检测
一种认知障碍检测模型及其训练方法

[发明专利]一种多模态信息处理及交互系统-CN202011416110.8有效
发明人：甘明刚;徐磊;田宗凯;陈杰;陈文颉;陈晨;窦丽华 -专利权人：北京理工大学
申请日： 2020-12-07 - 公布日： 2023-04-07 - 主分类号： G06F18/25 文献下载
摘要：本发明涉及一种多模态信息处理及交互系统，用于解决多模态交互系统中存在的模态融合方式简单，对话机制呆板的问题。包括多模态信息认知模块，多模态信息融合模块，以及多模态对话管理模块，其中，多模态信息认知模块用于对用户各模态交互信息进行识别，多模态信息融合模块利用D‑S证据理论将用户所有模态的交互信息进行意图融合，确定用户的最终交互意图，并得到对应于用户最终交互意图的可供机器识别的形式化指令；多模态对话管理模块针对多模态人机交互场景，采用有限状态机与信息槽填充方法相融合的对话管理模型，用于控制对话流程以及生成应答；本发明有效提高了用户交互意图识别准确率
一种多模态信息处理交互系统

[发明专利]一种融合多级语义信息的多模态讽刺识别系统方法-CN202110919005.4在审
发明人：廖祥文;翁钰震;魏冬春;吴君毅;何佳 -专利权人：福州大学
申请日： 2021-08-11 - 公布日： 2021-11-12 - 主分类号： G06F40/30 文献下载
摘要：本发明提出一种融合多级语义信息的多模态讽刺识别系统方法，所述方法通过融合多级语义信息来分析多模态数据，然后以讽刺识别模块来判别多模态数据中是否存在讽刺感；在生成多模态数据时，以特征提取模块提取图文数据的特征表示及图文数据的中级语义信息，以图文融合模块融合图文数据的特征表示并提取产生讽刺感的图文片段，以语义融合模块融合图文数据的中级、高级语义信息；本发明能够提取图文模态数据的特征表示及图文数据中的中级语义信息，通过注意力机制融合多模态数据，并关联图文模态的中级语义，分析多模态数据中是否存在讽刺感。
一种融合多级语义信息多模态讽刺识别系统方法

[发明专利]一种多模态数据处理方法及语言智能系统-CN202310428468.X在审
发明人：铉静;吴琼;吴珮玄;欧思言;雷焮尧 -专利权人：重庆工商大学;偲塔（重庆）科技发展有限责任公司
申请日： 2023-04-20 - 公布日： 2023-07-25 - 主分类号： G06F18/25 文献下载
摘要：本发明提供一种多模态数据处理方法及语言智能系统，多模态数据处理方法，包括以下步骤：获取多模态数据信息；提取所述多模态数据信息的特征表示，分别获得文本模态数据信息的特征表示、语音模态数据信息的特征表示和图像模态数据信息的特征表示；将所述文本模态数据信息的特征表示、所述语音模态数据信息的特征表示和所述图像模态数据信息的特征表示输入到多模态融合模型中进行训练，获得训练好的所述多模态融合模型的特征表示；将获得训练好的所述多模态融合模型的特征表示输入至自然语言生成模型，输出用于描所述多模态数据信息的自然语言。本发明能够提生多模态融合模型的精确度和准确度，以提升输出的自然语言的精确度和准确度。
一种多模态数据处理方法语言智能系统

[发明专利]多模态网页模板的处理方法、装置和计算机设备-CN202310943899.X在审
发明人：柯学;吴崇正;何福铿;杨浩宇;刘飚 -专利权人：腾讯科技（深圳）有限公司
申请日： 2023-07-31 - 公布日： 2023-08-29 - 主分类号： G06F8/41 文献下载
摘要：本申请设计人工智能领域，具体涉及一种多模态网页模板的处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取多模态网页模板的代码文件，通过网页渲染方式对代码文件进行解析，得到与代码文件相对应的代码节点树；根据代码节点树提取多模态网页模板中的多模态信息；对多模态信息中的每种信息分别进行特征提取，得到每种网页信息各自的模态特征；针对每两种网页信息，对所针对的两种网页信息的模态特征进行融合，得到与针对的两种网页信息对应的多模态融合特征；将融合得到的各多模态融合特征进行拼接，得到拼接融合特征，根据拼接融合特征确定多模态网页模板的模板标签
多模态网页模板处理方法装置计算机设备

[发明专利]一种多模态信息传输方法、装置、设备及存储介质-CN202211634179.7在审
发明人：车云飞 -专利权人：达闼科技（北京）有限公司
申请日： 2022-12-19 - 公布日： 2023-05-12 - 主分类号： G10L15/22 文献下载
摘要：本申请实施例提供一种多模态信息传输方法、装置、设备及存储介质。在该方法中，可获取待传输的目标音频和多模态描述信息，根据所述多模态描述信息在目标音频上对应的音频起止时间，对多模态描述信息进行编码得到多模态编码；将多模态编码与目标音频进行融合得到融合信息；向接收设备发送融合信息通过这种方式，对多模态编码和目标音频进行融合，可使得多模态编码和目标音频能够进行同步传输，解决了不同类型的信息在传输过程中由于时延不同从而导致相互等待的技术问题。同时，多模态编码根据多模态描述信息在目标音频上对应的音频起止时间得到，可使得被传输的目标音频与多模态编码具有信息对应性，进一步便于后续进行信息处理。
一种多模态信息传输方法装置设备存储介质

[发明专利]一种多模态数据处理方法、装置、设备及存储介质-CN202111400866.8在审
发明人：晁银银;王斌强;董刚;胡克坤;赵雅倩;李仁刚 -专利权人：浪潮（北京）电子信息产业有限公司
申请日： 2021-11-19 - 公布日： 2022-04-12 - 主分类号： G06K9/62 文献下载
摘要：本申请公开了一种多模态数据处理方法、装置、设备及存储介质，该方法包括：获取目标物体的不同光学模态信息，制作多模态数据集；构建多模态融合网络模型；多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；利用多模态数据集训练多模态融合网络模型；获取待测物体的不同光学模态信息，并输入至训练完成的多模态融合网络模型中这样可以获取物体的各光学模态的丰富特征以及不同光学模态之间的内在关系，高效完成分类或回归任务，进而促进多模态人工智能信息提取和融合的发展，提升竞争力。
一种多模态数据处理方法装置设备存储介质

[发明专利]一种效果预测方法、装置、存储介质及电子设备-CN202111326996.1在审
发明人：贾乐成 -专利权人：深圳市联影高端医疗装备创新研究院
申请日： 2021-11-10 - 公布日： 2022-02-11 - 主分类号： G06F30/20 文献下载
摘要：该方法包括：获取当前对象的多模态信息，将所述多模态信息输入至效果预测系统，其中，所述效果预测系统包括各模态信息的特征提取模块、特征融合模块和效果预测模块；获取所述效果预测系统输出的预测效果。在上述技术方案中，将当前对象的多模态信息输入至效果预测系统，实现了对多模态信息的特征提取、信息融合以及效果预测，其中，通过对多模态信息的特征提取、信息融合，实现了多种模态信息的融合，从而提高了预测效果的准确度
一种效果预测方法装置存储介质电子设备

[发明专利]一种用于食道功能性疾病诊断系统的多模态信息融合系统-CN201811011746.7有效
发明人：孙大明;黄智勇 -专利权人：重庆高铂瑞骐科技开发有限公司
申请日： 2018-08-31 - 公布日： 2021-07-27 - 主分类号： G16H50/20 文献下载
摘要：本发明公开了一种用于食道功能性疾病诊断系统的多模态信息融合系统，用于配置在计算机内，多模态信息融合系统包括逐级连接的单模态信息输入层、单模态信息条件概率计算层、多模态信息融合概率计算层以及分类判决层；每个单模态信息条件概率计算单元内均配置有对应的贝叶斯推理模型，所述贝叶斯推理模型内定义m种食道功能性疾病；第i个贝叶斯推理模型中配置有m个条件概率表，条件概率表Eij中存储有第j种食道功能性疾病表现为第i种单模信息的条件概率；多模态信息融合概率计算层用于计算多模态信息融合概率；分类判据层用于食道功能性疾病最终所属种类的判决。本发明能够实现多模态信息融合来进行食道功能性疾病的诊断，能够提高诊断准确率。
一种用于食道功能性疾病诊断系统多模态信息融合

[发明专利]一种媒体内容标签识别方法、装置、设备及存储介质-CN202210019262.7在审
发明人：黄剑辉 -专利权人：腾讯科技（深圳）有限公司
申请日： 2022-01-07 - 公布日： 2022-04-26 - 主分类号： G06K9/62 文献下载
摘要：该方法包括：获取待识别媒体内容对应的多模态特征信息；将所述多模态特征信息输入特征融合网络，在所述特征融合网络中，基于所述多模态特征信息对应的融合参数对所述多模态特征信息进行融合处理，得到目标融合特征信息，所述融合参数用于在所述多模态特征信息进行融合处理过程中，筛选融合的特征信息；对所述目标融合特征信息进行标签识别，得到所述待识别媒体内容对应的目标内容标签。本申请在对媒体内容进行标签识别的场景上，提升目标融合特征信息对媒体内容表征的准确性，从而提升媒体内容标签识别的准确性。
一种媒体内容标签识别方法装置设备存储介质

[发明专利]一种基于门机制多模态融合的情感分析方法-CN202011468475.5有效
发明人：李太豪;廖龙飞;刘昱龙;裴冠雄 -专利权人：之江实验室
申请日： 2020-12-14 - 公布日： 2023-04-18 - 主分类号： G06V40/16 文献下载
摘要：本发明涉及到多模态情感分析领域，提出了一种基于门机制多模态融合的情感分析方法，具体为：首先获取多模态情感分析数据，针对不同模态特点提取特征表示；通过不同模态特征的表示获得每个模态特征对应的模态信息门；使用不同模态信息门对各模态进行模态增强，丰富模态信息表示；拼接不同模态表示得到多模态融合表示，使用多模态融合表示进行情感分类。本发明可以更好地增强主体情感表达模态的作用，削弱冗余情感表达模态的负面影响，帮助多模态特征情感识别更加精确。
一种基于机制多模态融合情感分析方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条